PerceptionRubrics: Calibrating Multimodal Evaluation to Human Perception
PerceptionRubrics：校准多模态评估至人类感知的量规框架
🧭 多模态感知评估 · 人类对齐
Johns Hopkins University · StepFun · Tsinghua University · Independent Researcher
提出基于量规的多模态评估，用门控评分揭示模型在密集信息中的可靠性差距，显著提升人类对齐度
📌 工作参考价值（4 点）
- 门控评分机制：在商品描述生成或多模态问答的评估中，对核心属性、品牌等事实性信息实行一票否决，避免线性平均掩盖关键错误，可用于广告素材审核或商品信息校验。
- 双流量规设计：将评测项拆分为 Must-Right（核心事实）和 Easy-Wrong（易错细节），可指导构建商品图像理解测试集，针对性评估模型对材质、颜色、logo 等细粒度属性的感知。
- 环形同行评审标注流程：生成高质量金标准描述的方法可迁移至商品图文匹配、用户上传内容审核的场景，通过多轮评审减少标注噪声，提升训练/评估数据质量。
- 人类对齐的严格度量：强调感知准确性是可靠生成的前提，在选型多模态模型用于推荐理由生成、广告文案生成时，应优先关注其在高信息密度下的精细感知能力，而非仅看整体匹配分数。